DR Pixel: Page-Native Deep Research with Vision-Language Models
DR Pixel：视觉语言模型驱动的页面原生深度研究智能体
🧭 页面原生视觉深度研究智能体
NYU Shanghai · University of California, Berkeley · Rational Dynamics · Toyota Technological Institute at Chicago · New York University
首个开源端到端多模态深度研究代理，直接检索渲染页面图像并引入反事实信用重加权训练，超越 OCR 基线
📌 工作参考价值（4 点）
- 对商品详情页、广告落地页等富视觉文档，可直接用页面截图作为检索与推理单元，替代 OCR 文本化，保留表格、价格、图片、规格等结构化信号，适合多模态 LLM 在电商搜索/推荐中做页面级召回与问答。
- 在 agentic 搜索/推荐流程中，减少中间 OCR 和文本转换步骤，可显著降低工具调用次数与延迟；页面原生检索对含促销规则、对比表、图表的复杂页面更鲁棒，可用于营销活动页理解和智能导购。
- 训练 Agent 轨迹时，teacher trajectory 噪声大；可借鉴 counterfactual credit reweighting，按每个步骤对最终转化的反事实贡献做加权，提升 SFT 数据质量，而非简单过滤失败轨迹。
- 构建评测时，面向文档中混合文本、表格、图像、公式等多模态证据设计问题，比纯文本问答更能反映真实业务中商品详情、广告素材、规则文档的理解能力。